Evaluation von Terminologieextraktionsprogrammen

Diese Masterarbeit behandelt methodologische Aspekte der Evaluation von Terminologieextraktionsprogrammen mit einem besonderen Schwerpunkt auf der anwenderorientierten Adäquatheitsevaluation. Als Grundlagen dienen ein Forschungsüberblick zur computergestützten Terminologieextraktion aus computerlinguistischer, terminologischer und translatorischer Sicht sowie eine detaillierte Betrachtung der Terminologieextraktionsprogramme, insbesondere ihres Aufbaus und der Funktionsweise von Terminologieidentifikationsmethoden. Der computergestützte Extraktionsprozess wird anhand der einzelnen Aufgaben und zugehörigen Funktionen beschrieben. In diesem Rahmen wird gesondert auf Probleme bei der Anwendung von Terminologieextraktionsprogrammen eingegangen – die Qualität von Identifikationsergebnissen erweist sich als dominantes, jedoch nicht als einziges Thema. Nach einer Einführung in die Konzepte der Softwarequalität und -evaluation wird der EAGLES-Evaluationsrahmen für sprachverarbeitende Programme ausführlich behandelt. Die einzelnen Phasen der Entwicklung einer Evaluationsmethodologie für eine anwenderorientierte Adäquatheitsevaluation und wichtige Charakteristika der Anforderungen, Merkmale und Methoden sowie der Materialien werden vorgestellt. Mit einem besonderen Schwerpunkt auf der anwenderorientierten Sichtweise werden Methodologien zur Evaluation von Terminologieextraktionsprogrammen betrachtet und auf problematische Methoden und innovative Ansätze untersucht. Die Methodologie zur Evaluation der oft im Vordergrund stehenden Qualität des Identifikationsergebnisses wird besonders detailliert behandelt, darüber hinaus werden zwei auf dem EAGLES-Evaluationsrahmen basierende Methodologien präsentiert und diskutiert. Abschließend werden einige Ideen zur möglichen Entwicklung eines parametrisierbaren Evaluationsmodells für anwenderorientierte Adäquatheitsevaluationen von Terminologieextraktionsprogrammen ausgearbeitet und eine umfassende Kriteriencheckliste sowie Empfehlungen für die Planung von Benchmarktests zur Evaluation des Identifikationsergebnisses entwickelt.In the present Master's Thesis, methodological aspects of the evaluation of terminology extraction software are discussed, especially focussing on user-oriented adequacy evaluation. As a basis, an overview of the current state of research in computer-assisted terminology extraction respecting the different points of view of computational linguists, terminologists and translators is given. Subsequently, the composition of terminology extraction software, especially the functioning of different methods for terminology identification, is outlined. Ensuing, the computer-assisted extraction process is ventilated, including a description of individual tasks and corresponding features as well as a discussion of the problems related to the practical application, being the quality of identification results the predominant, though not the only topic. After an introduction to concepts of software quality and evaluation, the focus is set on the EAGLES evaluation framework for language processing software. The individual steps in creating an evaluation methodology for user-oriented adequacy evaluations and important characteristics of requirements, attributes and methods as well as of materials are presented. Stressing the user-oriented point of view, evaluation methodologies for terminology extraction software are examined, highlighting problematic methods and innovative approaches. The evaluation methodology of the often predominant quality of identification results, as well as two examples of evaluation methodology which are based on the EAGLES evaluation framework are given special attention. Finally, some ideas concerning the possible development of a parametrisable evaluation model for user-oriented adequacy evaluations of terminology extraction software are elaborated, and a comprehensive feature checklist as well as some recommendations for designing benchmark tests for the evaluation of identification results are presented